AI Papers Daily

#Selective Trust

2 篇

Stale-Document Poisoning: When Outdated Retrieval Overrides Correct Model Answers

陈旧文档毒化：过期检索覆盖模型正确答案

🧭 RAG 时间适用性 · 陈旧文档毒化 ★ 深度解读

University of Southern Denmark

发现RAG中过时文档可使模型在原本正确时被翻转，并定位为选择性信任失败

📌 工作参考价值（4 点）

• 在电商/客服 Agent 的 RAG 知识库中，为文档增加生效/失效日期或 supersession 关系，检索后先判断文档是否仍在适用期，而不只是发布时间或相关性。可作为索引字段或后置过滤。
• 提示词里避免全局“遵循检索文档”指令，改为要求模型结合文档的适用期限判断；必要时显式给出“该推荐自 X 日期起失效”，能显著提升大模型对过期内容的抵制。
• 检索侧可加 recency-aware hybrid re-ranker，但必须确保时间元数据可靠；日期缺失或错误时收益消失甚至反转，因此需要元数据治理。
• 评测 RAG 时增加“反向毒化”指标：只统计未检索时答对、检索后答错的样本，观察过期文档是否推翻已有正确知识；同时测试匹配的当前文档是否被遵循，以区分全面失败与选择性信任失败。

RAG | 2026-09-25 | cs.CL | score 8/10

RAGTemporal ApplicabilityKnowledge ConflictSelective TrustCausal Intervention

Learning When to Trust via Selective Context Preference Optimization

通过选择性上下文偏好优化学会何时信任

🧭 选择性信任训练 · DPO偏好优化

Duke University · National University of Singapore · UC Berkeley · UC Irvine · Northeastern University

提出选择性信任基准 MIST 与平衡 DPO 训练 SCOPE，使 LLM 在利用上下文时抵御误导信号

📌 工作参考价值（4 点）

• 构建多条件评估集：在 Agent 或 RAG 流程中，可借鉴 MIST 的四条件（干净、误导、正确上下文、无关上下文）设计验证集，评估模型对检索/注入上下文的「选择性信任」能力，避免只测鲁棒性或只测利用率。
• DPO 训练数据构造：利用 clean-correct/misleading-wrong 失败案例构造偏好对，且平衡四种条件（而非仅误导样本），可改善模型在不牺牲正确上下文利用率的前提下降低误导敏感度，适用于微调客服对话、搜索总结等易受噪声上下文影响的 Agent。
• SC2W 指标应用：在推荐解释生成或购物助手场景，可用 SC2W（干净正确被误导翻转为错误的比率）作为核心监控指标，重点检测模型在面对错误产品描述、误导性评论时是否保持正确。
• 工程实现轻量：SCOPE 仅需标准 DPO 训练，无需额外模型结构或强化学习，可直接在现有微调流程中应用，适合业务快速实验。

Training | 2026-08-06 | cs.LG | score 7/10

Selective TrustDPOMISTSC2WContext RobustnessLLM Training